import scrapy
import logging

class DoubanSpider(scrapy.Spider):
    name = 'douban' #爬虫名
    allowed_domains = ['douban.com']    #允许爬取的防伪
    start_urls = ['https://www.douban.com/group/228429/'] #最开始请求的url地址

    def parse(self, response):
        # #处理start_url地址对应的相应
        # ret1 = response.xpath("//div[@id='group-topics']/div[2]/table//text()").extract() #正常的列表是无法使用extract方法，这里是因为scrapy这里定义的是特殊的类型，自己定义的。
        # print (ret1)

        # #分组重新获取
        tr_list = response.xpath("//div[@id='group-topics']/div[2]/table/tr")
        for tr in tr_list:
            item = {}  #yield函数必须要求是字典之类的函数，而不能是列表
            item["标题"] = tr.xpath("./td[1]/a/@title").extract()
            item["作者"] = tr.xpath("./td[2]/a/text()").extract()
            # print (item)
            yield item # 传输数据到pipelines，同时减少内存的占用